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(57) Abstract: A device for 
automatic production of vocal 
recognition interfaces comprises 
means (1), for graphical recording 
of a conceptual model, derivation 
means (3), means for provision of 
a generic model (2) and means (6) 
for carrying out specific grammar 
in the field of the corresponding 
application. 

(57) Abrege : Le dispositif de 
production automatis6e d'interfaces 
de reconnaissance vocale de 
rinvention comporte des moyens 
de saisie graphique (1) d'un 
module conceptuel, des moyens 
de derivation (3), des moyens de 
foumituie d'un module g^ndrique 
(2) et des moyens (6) d'ex6cution de 
la grammaire sp^ifique du domaine 
d'application consid^6. 
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PRODUCTION AUTOMATIQUE D'INTERFACES DE RECONNAISSANCE 
VOCALE POUR UN DOMAINE D'APPLICATION 

La prdsente invention se rapporte d un proc6cl6 gdn6rique de 
production automatique d'interfaces de reconnaissance vocale pour un 
domaine d*application et A un dispositif de mise en ceuvre de ce proc6d6. 

Des interfaces de reconnaissance vocale sont utilisdes, en 
particulier dans des systdmes d'interaction opdrateur-systtme, qui sont des 
cas particuliers d'interfaces homme-machine. Una interface de ce type est le 
moyen qui permet d un op6rateur d'acc6der aux fonctions incluses dans un 
systdme ou une machine. Plus pr6cis6ment, cette interface permet d 
I'opdrateur d'6valuer l*6tat du systdme au travers de modalitfe de perception 
et de modifier cet 6tat A I'alde de modalitds d'action. Une telle interface est 
g6n6ralement le fruit d'une rdflexion et d'un travail de conception mends en 
amont sur rinteradion opdrateur-systdme, discipline visant d 6tudier les 
relations entre un utilisateur et le systdme avec fequel il interagit. 

L'interface d'un systdme, par exempte I'interface homme-machine 
d'un systdme informatique, doit dtre naturelle, performante, intelligente 
(susceptible de s'adapter en fonction du contexte), fiable» intuitive (c'est-d- 
dire facile d comprendre et d utiliser), autrement dit la plus « transparente » 
possible, afin de permettre d Tutilisateur d'accomplir sa tdche sans accroTtre 
sa charge de travail par des activitds ne relevant pas de son objectif premier. 

En faisant appel d des canaux de communication qui nous sont 
familiars, comma la parole et le geste de designation, les interfaces vocales 
sont d la fois plus conviviales et plus perfbrmantes. Ndanmoins, leur mise en 
place s'avdre §tre plus complexe que celle des interfaces traditionnelles, 
graphiques par exemple, car elle ndcessite Tacquisition de connaissances 
multiples, g6n6ralement de haut niveau, et la mise en place de traitements 
complexes visant 4 exploiter ces connaissances pour g6ner 
«c intelligemment » le dialogue entre I'opdrateur et le systdme. 

Actuellement, les interfaces vocales sont r6alisdes 
<c manuellement c'est-d-dire qu'd cheque nouvelle interfiace, il faut 
rddtudier toutes les fonctions de Tinterface sans pouvoir fairs appel d d une 
quelconque assistance ( automates par exemple) pour en faciliter la 
rdalisation. 
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La prdsente invention a pour objet un proc6d6 pemiettant 
d'automatiser la realisation d'interfaoes vocales de la fagon la plus facile 
possible et la plus simple possible, avec un temps et un coQt de 
ddveloppement les plus rdduits possible. 

5 La prdsente invention a ^galement pour objet un dispositif de mise 

en osuvre de ce proc6d6, dispositif qui soit simple d utiliser et peu on6reux. 

Le proc6d6 confbrme d I'invention est caract6ris6 par ie fait qu'on 
saisit un meddle conoeptuel du domaine d'application de Tinterface vocale, 
que Ton produit un ensemble de regies de grammaire gdndrique 

10 representative d'une classe d'applications, que I'on exemplifie les diff^rentes 
rdgles de grammaire g6n6rique dont les contraintes sent satisfoites, que Ton 
produit la grammaire du domaine d'application consider^ d partir de la 
grammaire gendrique exemplifiee et du meddle conoeptuel, et que I'on gdre 
rinteracUon opdrateur/systdme. 

15 Le dispositif de production automatisde d'interfaces vocales 

conforme dt invention comporte des moyens de saisie d'un meddle 
conceptuel, des moyens de derivation, des moyens de fbumiture d'un 
meddle gdndrique et des moyens d'exdcution de la grammaire spdcifique du 
domaine d'application considdrd. 

20 La prdsente Invention sera mieux comprise d la lecture de la 

description ddtaillde d'un mode de mise en csuvre, pris d titre d'exemple non 
limitatif et illustrd par le dessin annexd, sur lequel : 

- la figure 1 est un bloc-diagramme des principaux moyens mis 
en osuvre par I'invention, 

25 - la figure 2 est un bloc-diagramme plus ddtailld que celui de la 

figure 1,et 

- la figure 3 est un bloc-diagramme ddtailld des moyens 
d'exdcution des figures 1 et 2. 

Sur la figure 1, on a reprdsentd des moyens de saisie 1 
30 permettant de saisir les diffdrentes donndes ddcrivant le meddle conceptuel 
du domaine d'application oonsiddr6 et les relations raliant ces donndes. Ces 
donndes peuvent dtre, par exemple, dans le cas de la commando vocale 
utilisde pour le pilotage d'un avion, la tenminologie de tous les appareils et de 
toutes les fbnctions d'un avion, ainsi que leurs diffdrentes relations mutuelles. 
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Par ailleurs. on construit et on memorise un ensemble 2 de regies 
de grammaire pour former un moddle gdndrique reprteentant une dasse 
d'applications (pour I'exemple pr6c6demment dtd. cette dasse serait celle se 
rapportant d la commande des v6hicules en gdndral). A partir du moddle 

5 conceptuel 1 et du moddle g6n6riqu6 2, des moyens de derivation 3 
calculent de fecon automatique {'ensemble des ressources n6cessaires d la 
production de rinterface vocale d6sir6e, et en dMuisent I'ensemble des 
dnonc6s de langage susceptibles d'§tre traitds par cette Interfeoe dans le 
oontexte de I'application traitde. 

10 En outre, le dispositif de Tinvention comporte des moyens de 

revision 4 et des moyens d'explication 5. Les moyens de revision 4 sent 
supervises par rop^rateur du dispositif ou par son concepteur. lis ont pour 
r6le de rdviser les donntes saisies par rop6rateur d Taide des moyens 1, 
dans le but de corriger des termes contrairss d la sdmantique de I'application 

15 oonsiddrde et/ou d'ajouter de nouveaux temnes pour enrichir la grammaire du 
domaine d'application. Les moyens d'explication 5 permettent de faciliter la 
revision des donndes saisies par I'operateur en exposant les rdgles qui ont 
ete appliquees lors de reiaborafion de la grammaire specifique du domaine 
d'application. 

20 Les moyens d'exdcution 6 sent charges de produire 

automatiquement i'interface vocale du domaine d'application considere. Le 
procede de production de cette interbce repose sur la distinction entre les 
ressources qui dependent de rapplication et sent des ressources spedfiques 
(c'est-d-dire Tensemble des concepts constituent le meddle conceptuel saisi 

25 par les moyens 1 et I'ensemble des termes constituant le lexique), et les 
ressources qui ne dependent pas de cette application (ressources 
generiques), d savoir les regies syntaxiques de la grammaire et I'ensemble 
du lexique de base, qui sent propres & la langue utilisee. 

Pour mettre en ceuvre ce procede, le concepteur de rinterface 

30 vocale doit decrire d I'aide des moyens de saisie 1 les ressources 
spedfiques e I'application oonsideree, c'est-d-dire le modeie conceptuel et le 
lexique de cette application. II s'agit pour lui de definir les concepts de 
I'application qu'il souhaite pouvoir dtre regis par la voix. puis de verbaliser 
ces concepts. Ce travail de saisie peut dtre fadlite par I'utilisation d'un 
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moddle formel de Tapplication envisagSe, sous reserve que oe moddle existe 
et soit disponible. 

Lorsque les ressources spddfiques d rapplication sont ainsi 
acquises, les moyens de derivation 3, qui fonctionnent de manidre 

5 entidrement automatique, calculent d partir de ces ressources sp^dfiques et 
des ressources gdn^riques fbumies par les moyens 2 le module linguistique 
de rinterface vocafe pour ladite application. Ce meddle linguistique se 
compose de la grammaire et du lexique du sous-langage d6di6 d oette 
intertece. Les moyens de derivation 3 permettent 6galement de calculer 

10 I'ensemble des 6nonc6s de ce sous-langage (c'est-d-dire sa pliras6ologie), 
ainsi que I'ensemble des connaissances relatives d I'application et 
ndoessaires d la gestion du dialogue opdrateur-systdme. 

Les moyens de revision 4 pemiettent ensuite d I'opdrateur de 
visualiser tout ou partle de la phtasdologie oomespondant d son travail de 

15 saisie, afin de pouvoir afRner cette phrastologle par ajout, suf^ression ou 
modification. Afin d'aider I'opdrateur dans cette tdche, les moyens 5 de 
production d'explications penmettent de repdrer automatiquement quelles 
donntes conceptuelles et lexicales saisies par l*op6rateur sont d I'origine 
d'une caractdristique donnde d'un 6nonc6 ou d'un ensemble d'^noncds du 

20 sous-langage prodult. 

Enfin, les moyens d'ex6cution 6 constituent I'environnement 
auquel il est fait appel lors de I'utilisation de interface vocale produite, afin 
de valider cette interi'ace. A cet effet, les moyens d'exdcution exploitent 
Tensemble des donndes fbumies par les moyens de saisie 1 et les moyens 

25 de derivation 3. 

On a reprteente en figure 2 un exemple de realisation du disposltif 
de mise en osuvre du precede de Tinvention. L'operateur dispose d'une 
interface de saisie 7, telle qu'une interface graphique, pour saisir le moddle 
conceptuel 8 de rapplication consideree. 11 dispose par ailleurs d'une t>ase de 

30 donnees 9 comprenant les entites ou concepts de I'application, et d'un 
lexique 10 de oette application. Ainsi, le meddle conceptuel est forme des 
entites de rapplication et de leurs assodations mutuelies, c'est-d-dire des 
relations predicatives liant antra eux les concepts de rapplication. La saisie 
du modeie conceptuel est congue comme un processus iteratif et assiste 
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faisant appel d deux sources de oonnalssance principales, qui sent la 
grammaire g6n6rique 1 1 et le lexique de base 12. 

Uune des fagons de rdaliser les moyens de derivation 3 consiste d 
dtendre une grammaire syntaxique et s^mantique de manidre d autoriser la 

5 prise en compte de contraintes conceptuelles. 11 est ainsi possible de d^finir 
dans ce fbrmalisme de haut niveau une grammaire g6n6rique dont 
■'adaptation au domaine d'appllcation s'effBctue de fagon automatique au 
travers des donntes saisles par rop6rateur. Les moyens de derivation 
penmettent ainsi de calculer la grammaire syntaxico-semantique et le lexique 

10 propres au domaine d'application. Ainsi, comme schematise en figure 2, d 
partir du modeie conceptuel 8 saisi par I'operateur, le dispositif deduit le 
models linguistique qu'il transmet aux moyens de derivation 13. II faut noter 
Ici que le modeie conoeptuel est utilise non seulement pour calculer le 
modeie linguistique et les sous-modeies qui lui sont lies (models linguistique 

15 pour la reconnaissance , modeie linguistique pour Tanalyse et modeie 
linguistique pour la generation, mais sort egalement e la gestion du dialogue 
operateur- systems pour tout ce qui reieve de la reference aux concepts et 
aux objets de Tapplication. 

Les moyens de revision- explication 14, pour leur fonction de 

20 revision, sont accessibles via I'lnterfiace graphlque 7 de saisie du modeie 
conceptuel de Tapplication. lis font appel e un generateur de grammaire 15 
qui calcule la grammaire correspondant au modeie saisi et offre des 
mecanismes pour afficher tout ou partie des enonces correspondents. A cet 
effet, le generateur de grammaire 15 comprend une grammaire 16 

25 syntaxique et semantique d'analyse d'enonces, une grammaire 17 de 
generation d'enonces et une grammaire 18 de reconnaissance vocale. 

Les moyens de revision-explication 14, pour leur fonction 
d'explication, se basent sur une analyse fonmelle du calcul effectue par les 
moyens de derivation 13 pour identifier les donnees qui sont d Torigine des 

30 caracteristiques de ces enonces. Ces moyens permettent e I'operateur de 
concevoir de fagon iterative son models tout en s'assurant que les ertonces 
qui seront produits repondent bien e ses attentes. 

On a detailie en figure 3 un exemple de realisation des moyens 
d'execution 6 de I'interfaoe vocale. Ces moyens comportent : 
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- un dispositif 19 de reconnaissance de parole, qui utilise la 
grammaire 18 ddriv^e du moddle linguistique de manidre 
automatique ; 

- un analyseur d*6nonc6s 20 qui utilise le module linguistique 
5 foumi par les moyens de derivation 13. II vdrifie syntaxiquement 

et s6mantiquement Texactitude des dnonc^s ; 

- un processeur de dialogue 21 qui utilise le moddle conceptuel 
saisi par Topdrateur, ainsi que la base de donndes 9 des entitds 
linguistiques de rappiication, saisie par Topdrateurou oonstruite 

10 automatiquement par rapplication 22 ; 

- un g^n^rateur d'6nonc6s 23, qui utilise la grammaire de 
generation d'enonc^s 17 ddrivte du moddle linguistique de 
maniere automatique ; 

- un dispositif 24 de synthase de parole. 

15 Uensemble des elements 19 d 21 et 23, 24 d'execution de 

rinterfaoe vocale est gere dans le cas present par un systdme 25 de type 
multi-agents. 

On va maintenant expliquer la mise en ceuvre des moyens de 
saisie, des moyens de revision et des moyens d'explication & Taide d'un 
20 exemple trfts simple. 

A) Moyens de eaiele 

Si Ton souhaite rendre accessibles d la voix les concepts de 
25 chaTne de television (CHANNEL), programme televise (PROGRAMME), film 
(MOVIE), dessin anime (CARTOON), ainsi que le fait qu'une chaTne de 
television diffuse (PLAY) des programmes televises, il fiaut d'abord utiliser les 
moyens de saisie pour decrire le lexique, se rapportant d des concepts, que 
Ton souhaite prendre en compte. 
30 Dans un premier temps, les moyens de saisie permettent d'aider 

le ooncepteur de rinterfiace vocale lors de la constitution du lexique. Pour 
cela, des mecanismes sont mis en oauvre afin de proposer, pour un terme 
donne (par exemple « movie » pour la version anglaise du lexique et cc film » 
pour la version frangaise) I'ensemble des formes flechies correspondent d ce 
35 terme (singulier et pluriel d'un nom commun ou conjugaisons d'un verbe, par 
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exempiG). Le concepteur du lexique n*a done qu'd sdlectionner panmi toutes 
ces formes, oelles qu'il souhaite retrouver dans rinterfiace vocale. 

Les concepts qui doivent dtre accessibles d la voix sent ensuite 
cr66s via ces mdmes nnoyens de saisie. II s'agit dans le cas present de cr6er 

5 des entit6s CHANNEL, PROGRAIVIME, MOVIE et CARTOON et une relation 
PLAY. Ces concepts sent relics d un ensemble de temies du lexique. Ainsi, 
le concept MOVIE sera relid aux termes « movie « movies a film » et 
« films ]». Ces liens permettront de crter un certain nombre de clauses 
utilis6es par les moyens de derivation : 

10 • entity ([CARTOON, [cartoonD) 

• entity ([MOVIE, [movie]]) 

• entity ([PROGRAMME, [programme]]) 

• entity ([CHANNEL, [channel 5, cnn]]) 

• ... etc 

15 Dans le cas de la relation PLAY, il feut explidter les acteurs de 

cette relation : la chaTne t6l6vis6e et le programme. Ceci donne lieu d un 
autre type de clauses d destination des moyens de derivation : 

• functionaLstructure ([PLAY, Subject (CHANNEL), DirectObject 
(PROGRAMME), [play]]). 

20 Les moyens de saisie permettent ensuite d'explidter un certain 

nombre de relations suppiementairss entre ces concepts. Par exemple, un 
film est un type de programme televise. Ces relations auront comma 
consequence de order d'autres clauses utilisees par les moyens de 
derivation : 

25 • is_a (MOVIE, PROGRAMME) 

• ... etc. 

La mise en place de ces moyens de saisie permet avant tout de 
feciliter la saisie des ressources specifiques necessaires e la mise en oauvre 
de I'interface vocale. En effet, cette saisie s'effectue en grande partie grdce e 

30 la selection de certains criteres parmi un ensemble de critdres proposes via 
une intertece graphique. Le fichier de ressources (clauses) necessaire aux 
moyens de derivation est genere automatiquement d partir de cette 
representation graphique de Tensemble des criteres choisis. Ceci penmet au 
concepteur de interface vocale de ne pas faire d'erreur de syntaxe dans le 

35 fichier de ressources, ni d'oubli. 
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B) Moyens de revision 

Les moyens de rdviston permettent au concepteur de rinterface 
5 vocale de valider ou corriger le module conceptuel qui a 6\6 cr66 via les 
moyens de saisie. 

Une premiere 6tape du processus de revision conslste d visualiser 
tout ou partle de la phras6ologie correspondant au moddle conceptuel. 

* Dans le present exemple, on pourrait visualiser les phrases 
10 sulvantes : 

1) Unfilm 

2) Un dessin anim6 

3) Un film diffuse Ctiannel 5 

4) ... etc 

15 La phrase « Un film diffuse Channel 5 » est incon-ecte. Les 

moyens d'explication permettent de voir que oette erreur vient du fait que la 
relation PLAY a 6X6 mal ddfinie : 

• flincBonaLstructure ([PLAY, Subject (PROGRAMME), 
DirectObject (CHANNEL), [play]]). 

20 PROGRAMME Joue le rOle du sujet 

Au lieu de : 

• liinctionaLstructurB (PLAY, Subject (CHANNEL), DirectObject 
(PROGRAMME), [play]]). 

CHANNEL joue le rdle de sujet 
25 Les moyens de revision permettent au concepteur de rinterface 

vocale de visualiser cette erreur, et de modifier le module conceptuel de 
fa^on d la comger. 

C) Moyens d'explication 

30 

Les moyens d'explication ont pour fonction d'identifier et de 
dterire le sous-ensemble ou la caractdristique du meddle conceptuel dont la 
compilation produit la sous-grammaire correspondant d un dnoncd 
particulier, & une expression langagidre - un morceau d'6noncd - 



wo 2004/059617 



PCT/EP2003/051001 



9 

particulidre, ou d une propri6t6 langagidre - une caract6ristique d'expression 
— particulidre. 

Ainsi, grdoe aux moyens d'explication, I'utilisateur a la possibility. 

en sdlectionnant un 6nonc6, une expression ou une propridte engendrte par 
5 la grammaire, de retrouver et de comprendre le sous-ensemble ou la 

caractdristique du moddle conceptuel qui en est I'origine. 

Dds lors, il peut modifier le module conceptuel pour modifier 

l'6nonc6, Texpression ou la propri6t6 engendrte et en r6it6rant le processus, 

affiner le moddle conceptuel afin d'obtenir la grammaire du langage souhait6. 
10 A titre d'exemple, la possibility d'utiliser le pluriel dans la relation 

entre Pentitd unit6 et Identity mission dans les quatre expressions d-dessous 

est fonction de la cardinality de cette relation. 

1 . « la mission de I'unity » 

2. « les missions de I'unity » 
15 3. «c la mission des unites » 

4. « les missions des unites » 

La relation en question est dycrite par la rdgle conceptuelle 

suivante : 

20 entity (unity, relation (mission, X, Y)) 

Si X = 1 et Y = 1, seule Texpression 1. est autorisye par la 
grammaire. Si X = 1 et Y = n, seules les expressions 1. et 2. sent autorisyes 
par la grammaire. Si X = n et Y = 1 , seules les expressions 1 . et 3. sent 
25 autorisyes par la grammaire. Enfin, si X = n et Y = n, toutes les expressions 
sent autorisyes par la grammaire (n > 2). 

Dans cet exemple, les moyens d'expiication doivent permettre d 
I'utilisateur d'identifier qu'il faut modifier la cardinality de la rdgle conceptuelle 
pour obtenir la grammaire correspondent aux expressions plurielles qu'il 
30 souhaite inclure dans son langage. 

Un mode de ryalisation des moyens d'expiication consiste d 
oonstruire un procydy d'analyse en arriyre (at backtracking » en anglais) sur 
le procydy de compilation de la grammaire, qui va permettre de partir du 
rysultat pour retrouver les rygles conceptuelles qui at)outissent k ce rysultat 
35 et par la suite de les dycrire d I'utilisateur. 
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REVENDICATIONS 

1. Proc6d6 g6ndrique de production automatique d'interfaces de 
reconnaissance vocale pour un domaine d'application, caract6ris6 par le fait 
qu'on saisit (1, 7) un moddle ccnceptuel du domaine d'application de 
■'interface vocale. que Ton produit un ensemble de regies de grammaire 

5 gdndrique (11) repn6sentative d'une classe d'applicafions, que I'on exemplifie 
les diff^rentes r^les de grammaire g6n6riqu6 dont las contraintes sont 
satisfaites, que Ton produit la grammaire du domaine d'application consid6r6 
(6) d partir de la grammaire g^ndrique exemplifide et du moddle conceptuel 
(13) et que I'on gdre rinteraction opdrateur-systdme. 

10 2. Procddd selon la revendication 1, caractdrisd par le fait que Ton 

revise les donndes saistes et que Ton com'ge les termes contraires d la 
sdmantique de Tapplication considdrde. 

3. Proc^dd selon la revendication 1 ou 2, caract^risd par le fait 
que Ton revise (4) les donndes saisies et que i*on ajoute de nouveaux termes 

15 pour enrichir la grammaire du domaine d'application. 

4. Procddd selon Tune des revendications prdc^dentes, 
caract6ris6 par le fait que Ton produit des explications (5) exposant les rdgles 
qui ont 6t6 appliqu6es lors de I'dlaboration de la grammaire spddfique du 
domaine d'application. 

20 5. Dispositif de production automatis^e d'interfaces de 

reconnaissance vocale pour un domaine d'application, caract6ris6 par le fait 
qu'il comporte des moyens de saisie (1, 7) d'un moddle conceptuel, des 
moyens de derivation (3, 13), des moyens de foumiture d'un moddle 
g^ndrique (2, 11) et des moyens d'exdcution de la grammaire spddfique du 

25 domaine d'application consid6r6 (6, 15). 

6. Dispositif selon la revendication 5, caract6ris6 par le fait qu'il 
comporte en outre des moyens de rdvlsion (4, 14). 

7. Dispositif selon la revendication 5 ou 6, caractdrisd par le fait 
qu'il comporte en outre des moyens d'explication (5, 14). 

30 
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